「Amazon Data Firehoseの入門から実戦まで」というタイトルで登壇しました #九州AWS若手の会
2024.11.28はじめに
おのやんです。
この度、九州AWS若手の会#2というイベントで登壇しました。この発表で使用したスライドを公開しましたので、発表内容のダイジェストを踏まえて簡単に紹介したいと思います。
イベント概要
今回登壇したイベントはこちらの「九州AWS若手の会#2」です。福岡にいる2024 Japan AWS Jr. Championsが運営となって、福岡、九州のAWSコミュニティを盛り上げる目的で開催しました。私も運営として参加しており、今回2回目の開催となりました。今回は私も登壇しました。
先日、2024 Japan AWS Jr. ChampionsがAWSから選出されました。 社会人3年目以内のエンジニアの中から、AWSに関する実績やアウトプットを続けた人材が選出され、AWSに関して情報発信を実施していきます。
本イベントは、九州に拠点を置く 2024 Japan AWS Jr. Champions が主催する勉強会です！ AWS について登壇して発信し、技術に対する知見を深めることを目的とします。 また交流を図り、九州という地で AWS を盛り上げていくことも目的としています。
今回は第1回ということで 2024 Japan AWS Jr. Champions が登壇を担当しますが、次回以降では他の方の登壇も予定しています。 「AWS 完全に理解した」方も「AWS ﾁｮｯﾄﾜｶﾙ」方も、ぜひ参加をお待ちしています！
スライド詳細
スライド概要
現在AWSの技術支援を行っている関係で、Amazon Data Firehose（以下、Data Firehose）を触る機会が増えていました。その中で、実際に触れてみて気付いたことや注意点を紹介しようというのが、本登壇のおおまかな構成です。
Data Firehoseは、バッファサイズとバッファ期間を設定することで、流れてくるストリームデータを一定の間隔でデータストアに保存することができます。
現在扱っているData Firehoseの役割が、ストリームデータとデータストアの仲介役というのもあり、中間に立ってデータのやり取りをマネージドにやってくれるサービスという認識を押し出して紹介しました。
そんなData Firehoseですが、いくつか注意点もあるなと思ったので紹介しています。IaC経由で作成する場合は、Data Firehoseのエラーログを出力するAmazon CloudWatch (以下、CloudWatch)ログのロググループだけでなく、ログストリームも明示的に作成する必要があります。ロググループを作成したら、サービスが動く段階で自動でログストリームも作成してくれるという意識があったため、この仕様のおかげで少し手間取りました。
また、Data Firehose経由でS3に保存したGZIPファイルをブラウザ経由でダウンロードすると、.gzの拡張は変わらずに暗黙的に解凍される仕様にも直面しました。お客様にS3内のファイルを確認してもらう際に、この案内が必要になってくるので、Data Firehoseを使って構築するなどの場合はしっかり意識しましょう。
Data Firehoseはシンプルなデータ配信用AWSサービス
Data Firehoseは、シンプルに実装できる分、運用のコストを抑えられるというメリットがあります。反面、ファイル名の詳細なカスタマイズなどには対応していないため、こういった場合はAmazon Kinesis Data Streamsなどのサービスを利用する必要があります。
このシンプルさを許容できる場合、Data Firehoseは採用の候補として上がってきます。ストリームデータの配信を考えている方は、一度Data Firehoseを検証いただいて、その使い勝手を確かめていただければと思います。
